Zaharah Zakaria dilahirkan pada 1 Februari 1942 di Bengkalis, Riau, sebagai anak ketiga dan puteri kedua daripada tujuh anak kepada Zakaria bin Muhammad Amin (1913–2006), seorang ulama, dan Mariah binti Ahmad (1900–1955), seorang suri rumah.[1][2][3] Beliau mempunyai tiga saudara lelaki, Nashruddin (1934–1999), seorang penjawat awam, Azra'ie (1947–2019), seorang pensyarah, dan Syakrani Zakaria (lahir 1952), seorang ketua pelabuhan, dan tiga saudara perempuan, Aminah (1938–2011), seorang guru, Ulfah (lahir 1943), seorang pakar sakit puan, dan Hanim Zakaria (lahir 1950), seorang guru.[1][2][3] Zaharah juga memiliki tiga saudara lelaki sebelah bapa, Zulkarnain (lahir 1957) dan Nukman (lahir 1960), kedua-duanya adalah penjawat awam, dan Gamal Abdul Nasir Zakaria (lahir 1965), seorang pensyarah, dan empat saudara perempuan sebelah bapa, Rinie Yuslina Fairuz (1964–2021) dan Rita Puspa (lahir 1967), kedua-duanya adalah penjawat awam, dan Nida Suryani (lahir 1971) dan Sri Purnama Zakaria (lahir 1973), kedua-duanya adalah guru, daripada pernikahan kedua bapanya dengan Siti Zainab binti Kimpal.[4][5][3] Datuk sebelah ibunya, Tuan Guru Haji Ahmad, merupakan seorang ulama yang pertama kali menubuhkan institusi pendidikan Islam di Bengkalis, pada tahun 1900-an.[6] Ahmad berkahwin dengan Rohimah binti Sani, seorang wanita dari Perak, dan dikurniakan 15 orang anak termasuk Mariah.[6] Mariah kemudian berkahwin dengan Zakaria bin Muhammad Amin pada tahun 1933.[7][8]